package com.atgugu.realtime.util;

import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;

import java.io.IOException;
import java.io.StringReader;
import java.util.HashSet;
import java.util.Set;

/**
 * @Author lizhenchao@atguigu.cn
 * @Date 2022/1/5 10:14
 */
public class IkUtil {
    public static Set<String> split(String s) {
        Set<String> set = new HashSet<String>();
        // 内存流
        StringReader read = new StringReader(s);
        IKSegmenter seg = new IKSegmenter(read, true);
        
        Lexeme next = null;
        try {
            next = seg.next();
            while (next != null) {
                String word = next.getLexemeText();
                set.add(word);
                next = seg.next();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        
        return set;
    }
    
    public static void main(String[] args) {
        System.out.println(split("我是中国人"));
    }
}
// "小米手机 小米 手机"
// 我是中国人
// smart:我 是 中国人
// max_words: 我 是 中国 国人 中国人